RoMeRL: Balancing Feedback Coverage and the Memory-Reward Trap in Self-Evolving Agent Memory via Reduced-Order Utility States
RoMeRL：降阶效用状态平衡 Agent 记忆反馈与记忆-奖励陷阱
🧭 Agent 记忆自进化 · 降阶效用状态 ★ 深度解读
Nanjing University · Xiamen University · Zhejiang University
用四个固定语义坐标替代轨迹级效用，将反馈密度提升6倍，记忆量减少84%并阻断噪声奖励
📌 工作参考价值（4 点）
- 采用固定维度语义坐标管理 Agent 记忆，可按“正负极性×动态/巩固”划分槽位，避免记忆池持续膨胀导致的效用稀释，适合电商客服、对话推荐等需要持续学习的 Agent 场景。
- 检索时用 Q 值加权相似度（(1-ω_Q)*similarity + ω_Q*Q）既能利用任务反馈又可保留语义匹配，可在商品推荐或搜索的召回/排序中借鉴，让效用信号与相关性共同决策。
- 设计“负向巩固坐标（NCC）”保留高 Q 值的失败案例，为后续决策提供纠错信号，类比推荐系统中保留高价值但未转化的交互，用于策略优化。
- 降阶状态天然隔离错误奖励传播（MRT），类似控制曝光噪音，可在广告竞价或推荐策略评估中用有限坐标表示效用，避免无关 item 被误强化。